Tổng Sơn Cẩm thuộc phủ Phú Lương từ thời nhà Lý, gồm có sáu xã là: Sơn Cẩm, Cao Ngạn, Quan Triều, Hộ Hiểu, Vô Tranh, Phú Cơ và một phường là Thủy Cơ. Trước cách mạng tháng 8, tổng Sơn Cẩm gồm có ba xã. Sau cách mạng tháng 8, huyện Phú Lương bao gồm 12 xã, trong đó có xã Sơn Cẩm.[5]

Ngày 19 tháng 10 năm 1962, xóm Tân Long của xã Sơn Cẩm được sáp nhập vào thành phố Thái Nguyên.[6]

Ngày 14 tháng 8 năm 2017, toàn bộ diện tích và dân số của xã Sơn Cẩm được sáp nhập vào thành phố Thái Nguyên.[2]

Đến năm 2019, xã Sơn Cẩm được chia thành 19 xóm: Cao Sơn 1, Cao Sơn 2, Cao Sơn 3, Cao Sơn 4, Cao Sơn 5, xóm 6, xóm 7, xóm 8, Bến Giềng, Đồng Danh, Đồng Xe, Sơn Cẩm, Thanh Trà 1, Thanh Trà 2, Hiệp Lực, Quang Trung 1, Quang Trung 2, Táo 1, Táo 2.

Ngày 11 tháng 12 năm 2019, sáp nhập hai xóm Táo 1 và Táo 2 thành xóm Táo, sáp nhập hai xóm Quang Trung 1 và Quang Trung 2 thành xóm Quang Trung, sáp nhập xóm Cao Sơn 4 vào hai xóm Cao Sơn 3 và Cao Sơn 5.[7]